Comprendre et concevoir l'interaction tactile avec identification des doigts

During the last decade, touch interfaces have become more and more ubiquitous.A lot of software applications initially designed for desktop computers have now a tactile counterpart. However, the limited expressiveness of the touch modality restricts drastically the amount of features available on touch applications. Researchers have been exploring different tracks on how to augment this expressiveness, notably through finger identification. While the literature mainly focuses on tackling the technological challenge, this dissertation aims at better understanding its use in order to provide guidelines for designing interaction techniques.We first summarize existing technologies, present our prototypes and evaluate the use of fingerprint recognition, that we perceive as the most promising solution with the aim of being integrated in consumer devices. Through controlled experiments, we study the differences of performance and preference between fingers, the influence of finger identification on user strategies to complete tasks. We also explore how to integrate this new information along existing interaction techniques and help users grasp the rich vocabulary provided. Our works lead to guidelines for designing interaction techniques leveraging finger identification that we implement in three different interaction contexts (tabletops, tablets and smartphones) through Adoiraccourcix, an interaction technique combining command selection and parameter manipulation.La dernière décennie a vu s'établir la démocratisation des interfaces tactiles. De nombreux logiciels jusque là réservés aux ordinateurs de bureau offrent désormais une version qui se contrôle du bout des doigts. Cependant, l'expressivité limitée de la modalité tactile restreint drastiquement le nombre de fonctionnalités disponibles. La recherche explore donc différentes pistes pour augmenter cette expressivité notamment par l'identification des doigts. Alors que la littérature se focalise principalement sur les méthodes d'identification des doigts, cette thèse vise à mieux en comprendre l'utilisation afin de guider la conception de techniques d'interaction. Nous réalisons d'abord une revue des technologies existantes, présentons nos prototypes et évaluons l'utilisation de la reconnaissance des empreintes digitales, qui nous semble la solution la plus prometteuse en vue d'une intégration dans des systèmes commerciaux. Par la réalisation d'expériences contrôlées, nous étudions ensuite les différences de performances et de préférences entre les doigts, l'influence de l'identification des doigts sur la stratégie de réalisation de tâches. Nous explorons également comment intégrer cette information au sein des techniques d'interaction existantes et aider les utilisateurs à appréhender le riche vocabulaire offert. Nos travaux aboutissent à des recommandations pour la conception des techniques d'interaction basées sur l'identification des doigts que nous mettons en oeuvre dans trois contextes d'interaction (grands écrans, tablettes et smartphones) au travers d'Adoiraccourcix, une technique d'interaction qui combine sélection de commandes et contrôle continu de paramètres

Réduire l'Aversion aux Erreurs pour Aider la Transition Novice-Expert avec Fast Tap

National audienceExpert interaction techniques such as gestures or hotkeys are more efficient than traditional WIMP techniques because it is often faster to recall a command than to navigate to it. However, many users seem to be reluctant to switch to expert interaction. We hypothesize the cause might be the aversion of making errors. To test this, we designed two intermediate modes for the FastTap interaction technique, allowing quick confirmation of what the user has retrieved from memory, and quick adjustment if she has made an error. We investigated the impact of these modes and of various error costs in a controlled study (N=36). We found that participants adopted the intermediate modes, that these modes reduced error rate when error cost was high, and that they did not substantially change selection times. However, while it validates the design of our intermediate modes, we found no evidence of greater switch to memory-based interaction, suggesting that reducing the error rate is not sufficient to promote expert use of techniques.Les techniques d'interaction expertes comme les vocabulaires gestuels ou les raccourcis clavier sont plus efficaces que les techniques WIMP traditionnelles. Il est en effet plus rapide de se rappeler une commande plutôt que de la retrouver dans des menus. Cependant, la plupart des utilisateurs semblent réticents à passer aux interactions qui se basent sur leur mémoire. Nous pensons que la cause pourrait être due à leur aversion à faire des erreurs. Pour tester cette hypothèse, nous avons conçu deux modes intermédiaires pour la technique d'interaction FastTap, qui permet de rapidement confirmer ce que l'utilisateur s'est rappelé de mémoire, et d'ajuster si une erreur a été faite. Nous avons étudié l'impact de ces deux modes intermédiaires et de différents coûts d'erreur dans une étude contrôlée (N=36). Nous avons trouvé que les participants ont adopté les modes intermédiaires, que ces modes réduisaient le taux d'erreur quand le coût de l'erreur était important, et qu'ils n'ont pas affecté de manière significative les temps de sélection. Cependant, bien que les résultats valident la conception de nos modes intermédiaires, nous n'avons pas trouvé de preuve sur un plus grand passage aux interactions qui se basent sur la mémoire. Cela suggère que réduire le taux d'erreur n'est pas suffisant pour promouvoir l'utilisation experte des techniques

A three-step interaction pattern for improving discoverability in finger identification techniques

Publié dans : UIST'14 Adjunct Proceedings of the adjunct publication of the 27th annual ACM symposium on User interface software and technologyInternational audienceIdentifying which fingers are in contact with a multi-touch surface provides a very large input space that can be leveraged for command selection. However, the numerous possibilities enabled by such vast space come at the cost of discoverability. To alleviate this problem, we introduce a three-step interaction pattern inspired by hotkeys that also supports feedforward. We illustrate this interaction with three applications allowing us to explore and adapt it in different context

The Performance and Preference of Different Fingers and Chords for Pointing, Dragging, and Object Transformation

International audienceThe development of robust methods to identify which finger is causing each touch point, called “finger identification,” will open up a new input space where interaction designers can associate system actions to different fingers. However, relatively little is known about the performance of specific fingers as single touch points or when used together in a “chord.” We present empirical results for accuracy, throughput, and subjective preference gathered in five experiments with 48 participants exploring all 10 fingers and 7 two-finger chords. Based on these results, we develop design guidelines for reasonable target sizes for specific fingers and two-finger chords, and a relative ranking of the suitability of fingers and two-finger chords for common multi-touch tasks. Our work contributes new knowledge regarding specific finger and chord performance and can inform the design of future interaction techniques and interfaces utilizing finger identification

Sélection de Commandes sur Tables Interactives Multi-Points par Identification des Doigts

Adjunct Proceedings of the AFIHM Conférence Francophone sur l’interaction Homme-Machine (IHM 2014), DemonstrationAlors que les raccourcis clavier permettent aux utilisateurs experts des interfaces WIMP d’exécuter rapidement des commandes, il existe aujourd’hui peu d’équivalents pour grands écrans tactiles multipoints. Afin de remé- dier à ce problème, nous avons conçu Adoiraccourcix, une technique d’interaction tirant parti de l’identification des doigts sur tables interactives, pour la sélection rapide de commandes associée au contrôle continu de paramètres de celles-ci. Après avoir présenté la logique de conception, nous illustrons Adoiraccourcix au travers d’une application de dessin vectoriel

Design and evaluation of braced touch for touchscreen input stabilisation.

Incorporating touchscreen interaction into cockpit flight systems offers several potential advantages to aircraft manufacturers, airlines, and pilots. However, vibration and turbulence are challenges to reliable interaction. We examine the design space for braced touch interaction, which allows users to mechanically stabilise selections by bracing multiple fingers on the touchscreen before completing selection. Our goal is to enable fast and accurate target selection during high levels of vibration, without impeding interaction performance when vibration is absent. Three variant methods of braced touch are evaluated, using doubletap, dwell, or a force threshold in combination with heuristic selection criteria to discriminate intentional selection from concurrent braced contacts. We carried out an experiment to test the performance of these methods in both abstract selection tasks and more realistic flight tasks. The study results confirm that bracing improves performance during vibration, and show that doubletap was the best of the tested methods

Leveraging finger identification to integrate multi-touch command selection and parameter manipulation

International audienceIdentifying which fingers are touching a multi-touch surface provides a very large input space. We describe FingerCuts, an interaction technique inspired by desktop keyboard shortcuts to exploit this potential. FingerCuts enables integrated command selection and parameter manipulation, it uses feed-forward and feedback to increase discoverability, it is backward compatible with current touch input techniques, and it is adaptable for different touch device form factors. We implemented three variations of FingerCuts, each tailored to a different device form factor: tabletop, tablet, and smartphone. Qualitative and quantitative studies conducted on the tabletop suggests that with some practice, FingerCuts is expressive, easy-to-use, and increases a sense of continuous interaction flow and that interaction with FingerCuts is as fast, or faster than using a graphical user interface. A theoretical analysis of FingerCuts using the Fingerstroke-Level Model (FLM) matches our quantitative study results, justifying our use of FLM to analyse and validate the performance for the other device form factors

Understanding and designing touch interaction using finger identification

La dernière décennie a vu s'établir la démocratisation des interfaces tactiles. De nombreux logiciels jusque là réservés aux ordinateurs de bureau offrent désormais une version qui se contrôle du bout des doigts. Cependant, l'expressivité limitée de la modalité tactile restreint drastiquement le nombre de fonctionnalités disponibles. La recherche explore donc différentes pistes pour augmenter cette expressivité notamment par l'identification des doigts. Alors que la littérature se focalise principalement sur les méthodes d'identification des doigts, cette thèse vise à mieux en comprendre l'utilisation afin de guider la conception de techniques d'interaction.Nous réalisons d'abord une revue des technologies existantes, présentons nos prototypes et évaluons l'utilisation de la reconnaissance des empreintes digitales, qui nous semble la solution la plus prometteuse en vue d'une intégration dans des systèmes commerciaux. Par la réalisation d'expériences contrôlées, nous étudions ensuite les différences de performances et de préférences entre les doigts, l'influence de l'identification des doigts sur la stratégie de réalisation de tâches. Nous explorons également comment intégrer cette information au sein des techniques d'interaction existantes et aider les utilisateurs à appréhender le riche vocabulaire offert.During the last decade, touch interfaces have become more and more ubiquitous. A lot of software applications initially designed for desktop computers have now a tactile counterpart. However, the limited expressiveness of the touch modality restricts drastically the amount of features available on touch applications. Researchers have been exploring different tracks on how to augment this expressiveness, notably through finger identification. While the literature mainly focuses on tackling the technological challenge, this dissertation aims at better understanding its use in order to provide guidelines for designing interaction techniques.We first summarize existing technologies, present our prototypes and evaluate the use of fingerprint recognition, that we perceive as the most promising solution with the aim of being integrated in consumer devices. Through controlled experiments, we study the differences of performance and preference between fingers, the influence of finger identification on user strategies to complete tasks. We also explore how to integrate this new information along existing interaction techniques and help users grasp the rich vocabulary provided. Our works lead to guidelines for designing interaction techniques leveraging finger identification that we implement in three different interaction contexts (tabletops, tablets and smartphones) through Adoiraccourcix, an interaction technique combining command selection and parameter manipulation

Studies and guidelines for two concurrent stroke gestures

International audienceThis paper investigates thumb-index interaction on touch input devices, and more precisely the potential of two concurrent stroke gestures, i.e. gestures in which two fingers of the same hand concurrently draw one stroke each. We present two fundamental studies, one using such gestures for two-dimensional control, by precisely drawing figures, and the other for command activation, by roughly sketching figures. Results give a first analysis of user performance on 35 gestures with a varying complexity based on numbers of turns and symmetries. All 35 gestures, were grouped into six families. From these results we classify these families and propose new guidelines for designing future mobile interfaces. For instance, favoring anchored gestures (forefinger drawing while the thumb remains still on the surface) to increase input bandwidth when forefinger precision is required

µGlyphe: une Notation Graphique pour Décrire les Microgestes

International audienceHand microgestures define a promising modality for rapid and eye-free interaction while holding or not an object. Studied in many contexts, e.g. in virtual/augmented reality, there is no consensual definition of a microgesture, nor a notation to accurately describe a microgesture. The absence of a reference framework leads to ambiguities in the naming or description of microgestures. We propose µGlyph, a graphical notation to precisely describe hand microgestures with different level of abstraction. This notation is based on a vocabulary of elementary events from the biomechanics of the hand. Each event is associated with a context of execution as well as optionnal characteristics such as the finger that makes the micromovement. We study the descriptive power of the µGlyph notation by positioning it with respect to the existing design axes and by describing the most common microgestures of the literature.Les microgestes de la main définissent une modalité prometteuse pour l'interaction rapide, sans regarder et tout en tenant ou non un objet. Étudiée dans de nombreux contextes, e.g. en réalité virutelle/augmentée, il n'existe pas de définition consensuelle des microgestes, ni de notation permettant de les décrire de manière précise. L'absence d'un référentiel commun conduit donc à des ambiguïtés dans le nommage ou la description d'un microgeste. Nous proposons µGlyphe, une notation graphique décrivrant les microgestes de la main à différent niveaux d'abstraction. Cette notation repose sur un vocabulaire d'événements élémentaires issus de la biomécanique de la main. Chaque événement est associé à un contexte d'exécution ainsi qu'un ensemble de caractéristiques optionnelles comme le doigt effectuant le mouvement. Nous étudions le pouvoir descriptif de la notation µGlyphe en la positionnant au regard des axes de conception existants et en décrivant les microgestes les plus utilisés de la littérature